穴充填のための方法及び画像処理デバイス

专利摘要:
本発明は、未割り当ての画素値を持つ画像７０５における隣接するピクセル位置に画素値を割り当てる画像処理デバイス及び方法に関する。この方法は、第１の伝播画素値７３０と、上記隣接するピクセル位置の方へ第１の方向に沿って上記第１の伝播画素値７３０を伝播するための第１の伝播重み７３５とを生成するステップであって、該ステップが、上記第１の方向において上記隣接するピクセル位置への伝播のため上記第１の伝播画素値７３０を生成するサブステップであって、上記第１の伝播画素値７３０が、上記未割り当てのピクセル位置に隣接する第１の領域において割り当てられた画素値に少なくとも基づかれる、サブステップと、上記第１の方向に沿って穴に隣接する第２の領域において割り当てられた画素値の画素値における不連続性を説明するため上記第１の伝播画素値７３０に対する第１の伝播重み７３５を生成する、サブステップであって、上記第１の方向に沿って上記割り当てられた画素値における不連続性の発生が、低い第１の伝播重み７３５を生じさせるようなサブステップとにより行われる、ステップと、上記第１の伝播画素値７３０と第１の伝播重み７３５とに少なくとも部分的に基づき、上記隣接するピクセル位置に画素値を割り当てるステップとを有する。本発明は更に、上記方法を実現するプログラムを有するコンピュータプログラム及びコンピュータプログラム製品に関する。
公开号:JP2011512717A
申请号:JP2010543603
申请日:2009-01-21
公开日:2011-04-21
发明作者:グンネウィーク；ライニエル；ビー；エム クライン；クリスティアーン ファレカムプ
申请人:コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ；
IPC主号:H04N13-04

专利说明:

[0001] 本発明は、未割り当ての画素値を持つ画像における隣接するピクセル位置に画素値を割り当てる方法及び画像処理デバイスに関する。本発明は、コンピュータで実行されるとき、上記方法が実行されることをもたらすコンピュータプログラム及びコンピュータプログラム製品にも関する。]
背景技術

[0002] 現在、家電業界は、家庭で消費者に三次元画像／ビデオ経験を与えることに対する関心を増加させている。非常に多くのディスプレイが、一般市民に対して利用可能になっている。これらのディスプレイは、２つの表示をユーザに与える眼鏡ベースの立体表示システム、及び例えばバリア及び／又はレンチキュラベースの自動立体表示ディスプレイといった自動立体表示システムを含む。]
[0003] 立体表示及び自動立体表示システムは、２つのわずかに間隔を置かれた表示位置から見られる１つの同じシーンの少なくとも２つの画像を与え、観者の左右目の間の距離を擬態することにより、深さの認識を提供することができるという事実を利用する。２つの異なる位置から見られる同じシーンの対象物の見かけの方向の見かけの変位又は差は、視差と呼ばれる。視差は、シーンにおける対象物の深さを観者が知覚することを可能にする。異なる仮想位置から見られる同じシーンの複数の画像は、２次元画像の各画素値に対して深さデータが与えられた２次元画像を変換することにより得られることができる。このシーンにおける各点に対して、この点から画像キャプチャデバイスへの距離、別の参照点への距離、又は例えば投影スクリーンといった平面への距離が、画素値に加えてキャプチャされる。斯かるフォーマットは通常、画像＋深さビデオ形式と呼ばれる。]
発明が解決しようとする課題

[0004] 画像＋深さビデオ形式にある画像を異なる位置から見られる複数の画像へと変換するとき、特定の出力ピクセルに関して入力データが全く利用可能でないことが起こりうる。従って、これらの出力ピクセルは、それらのピクセル位置に割り当てられる任意の確定値を持たない。これらの未割り当て画素値はしばしば、変換画像における「穴」と呼ばれる。この文書において、「穴」又は「未割り当て画素値を持つ隣接ピクセル位置」という語は、未割り当て画素値の隣接ピクセル位置を有する領域を参照するために交換可能に用いられることになる。]
[0005] 例えば画像＋深さ形式でエンコードされる画像において見える対象物が、新しい表示を生成するのに使用されるとき、穴が起こる場合がある。新しい表示において、画像＋深さビデオ形式の元の画像情報に存在する対象物が、その深さ値の結果として変位され、これにより、利用可能であった画像情報の一部が塞がれ、画像＋深さビデオ形式では何の画像情報も利用可能でない領域が露わになる（de-occluding）ことが生じる場合がある。穴充填アルゴリズムは、斯かるアーチファクトを克服するために使用されることができる。]
[0006] 前方運動補償（forward motion compensation）を用いる既知のビデオ圧縮方式に基づきエンコードされた画像シーケンスを有する２Ｄビデオ情報のデコードされた出力において、穴が起こる場合もある。斯かるビデオ圧縮方式において、フレームにおけるピクセルの領域は、以前のフレームのピクセルの投影領域から予測される。これは、シフト運動予測方式（shift motion prediction scheme）と呼ばれる。この予測方式では、いくつかの領域が重複し、いくつかの領域は、フレームにおける対象物の運動が原因で分離している。分離した領域におけるピクセル位置は、確定的な画素値が割り当てられるものではない。結果的に、画像シーケンスを有する２Ｄビデオ情報のデコードされた出力において穴が発生する。更に、穴をもたらす未参照領域（unreferenced areas）は、例えばＭＰＥＧ−４といったオブジェクトベースのビデオ・エンコーディング方式においてバックグラウンドに存在する場合がある。ここで、バックグラウンド及びフォアグラウンドは、別々にエンコードされる。穴充填アルゴリズムは、これらのアーチファクトを克服するために使用されることができる。]
[0007] 「画像における指向性の穴充填」という題名の国際特許出願ＷＯ２００７／０９９４６５号は、他の方法と比較して画像における視覚の歪みを減らす方法を提供することを目的とする。上記のソリューションは視覚の歪みを減らす明白な改善を提供するものの、上記のソリューションでも完全には対処されない問題がまだ存在する。]
[0008] 本発明の目的は、未割り当ての画素値を持つ画像における隣接するピクセル位置に画素値を割り当てる代替的な実現を提供することである。]
課題を解決するための手段

[0009] 上記目的は、未割り当ての画素値を持つ画像における隣接するピクセル位置に画素値を割り当てる方法により達成される。この方法は、第１の伝播画素値と、上記隣接するピクセル位置の方へ第１の方向に沿って上記第１の伝播画素値を伝播するための第１の伝播重みとを生成するステップであって、該ステップが、上記第１の方向において上記隣接するピクセル位置への伝播のため上記第１の伝播画素値を生成するサブステップであって、上記第１の伝播画素値が、上記未割り当てのピクセル位置に隣接する第１の領域において割り当てられた画素値に少なくとも基づかれる、サブステップと、上記第１の方向に沿って穴に隣接する第２の領域において割り当てられた画素値の画素値における不連続性を説明するため上記第１の伝播画素値に対する第１の伝播重みを生成する、サブステップであって、上記第１の方向に沿って上記割り当てられた画素値における不連続性の発生が、低い第１の伝播重みを生じさせるようなサブステップとにより行われる、ステップと、上記第１の伝播画素値と第１の伝播重みとに少なくとも部分的に基づき、上記隣接するピクセル位置に画素値を割り当てるステップとを有する。]
[0010] 本発明は、穴に対する候補画素値の伝播に少なくとも部分的に基づかれる穴充填ソリューションを提供する。このために、穴に隣接する第１の領域から割り当てられた画素値に少なくとも部分的に基づき、第１の伝播画素値が決定される。第１の領域の位置は、第１の方向により決定される。通常、第１の領域は、第１の方向に沿って穴へと伝播されることができる穴境界上に割り当てられた画素値を有する。上述した方法によっても確立される第１の重みは、第１の伝播画素値が、未割り当てのピクセル位置に画素値を割り当てるために使用されることができるという信頼性に関する指示を提供する。]
[0011] 重みは、第１の方向に沿った第２の領域から割り当てられる画素値に基づかれる。画素値における強い不連続性が穴を「横断する」とき、（第１の方向に沿って移動するとき知覚される）「横断」の前のピクセル位置に関連付けられる重みが、「横断」の後のピクセル位置より高い信頼性を持つことになる。この態様で、本発明は、不適当な画素値の誤った伝播を防止する。]
[0012] 画素値は、第１の伝播値と伝播重みにより表される信頼性とに基づき割り当てられることができる。伝播重みが低い場合、例えば、穴を囲んでいる平均画素値といった他の値が、第１の伝播画素値の代わりに使用されることができる。この態様で、穴エッジ上で終わる強い不連続性が、第１の伝播画素値の誤った伝播を防止するために用いられることができる。]
[0013] ある実施形態において、第１の伝播画素値は、未割り当てのピクセル位置に隣接する第１の領域において割り当てられた画素値を持つピクセル位置を有する、割り当てられた画素値に対する第１の方向フィルタを用いて生成される。この態様で、第１の伝播値は、ノイズに対してより堅牢にされることができる。なぜなら、複数のピクセルが使用されるからである。更に、閉塞（occlusion）及び露見（de-occlusion）は一般に漸進的な処理であるので、フレーム当たりの複数のピクセルのフィルタリングが更に、追加的な時間整合性を提供する。なぜなら、第１の伝播値は、穴にだけ直接隣接する第１の領域におけるピクセル位置に依存しないからである。]
[0014] 更なる実施形態において、第１の伝播重みは、第１の方向に沿った第２の領域において割り当てられた画素値上でエッジ検出器を使用することにより生成される。第１の方向に沿った第２の領域において割り当てられた画素値における不連続性を確立する他の方法が存在するものの、エッジ検出器は、処理の観点からは比較的低コストの実現である。]
[0015] 別の実施形態では、この方法は更に、第２の伝播画素値と、上記隣接するピクセル位置の方へ第２の方向に沿って上記第２の伝播画素値を伝播するための第２の伝播重みとを生成するステップを有し、上記隣接するピクセル位置に割り当てられる上記画素値が、上記第１及び第２の伝播画素値と上記第１及び第２の伝播重みとに少なくとも部分的に基づかれる。この態様で、複数の伝播からの結果が、穴内のピクセル位置に画素値を割り当てることと組み合わせられることができる。この実施形態が、更なる穴充填手法から得られる他の画素値の更なる使用を排除するものではない点に留意されたい。第１及び第２の方向は好ましくは垂直な方向である。こうして、水平及び垂直の閉塞／露見の処理が可能にされる。]
[0016] 更に別の実施形態において、上記隣接するピクセル位置に画素値を割り当てるステップが、上記第１の伝播重みで重み付けされる上記第１の伝播画素値と、上記第２の伝播重みで重み付けされる上記第２の伝播画素値とをブレンドするステップを有する。この態様で、要求的な（demanding）処理ステップを必要としない簡単な実現が、得られる。]
[0017] 上記上目的は更に、請求項８に記載の未割り当ての画素値を持つ画像における隣接するピクセル位置に画素値を割り当てる画像処理デバイスにより実現される。]
[0018] 上記目的は更に、それぞれ、請求項１２及び１３に記載のコンピュータプログラム製品において実現されるコンピュータプログラムにより実現される。]
図面の簡単な説明

[0019] 本発明による穴充填方法を示す図である。
充填される穴を有する例示的な画像を示す図である。
穴を充填するための第１の伝播画素値を示す図である。
穴を充填するための第２の伝播画素値を示す図である。
穴を充填するための第１の伝播重みを示す図である。
穴を充填するための第２の伝播重みを示す図である。
充填された穴を持つ例示的な画像を示す図である。
方向フィルタ手法を示す図である。
伝播重み生成を示す図である。
穴セグメント化を示す図である。
伝播重み生成を示す図である。
シーンの右目表示を示す図である。
図６Ａの右目表示から得られる左目表示を示す図である。
本発明に基づき充填された穴を備える画像を示す図である。
本発明を用いることにより得られる更なる左目表示を示す図である。
本発明による画像処理デバイスを示す図である。
本発明による更なる画像処理デバイスを示す図である。
本発明によるディスプレイ・デバイスを示す図である。] 図６Ａ
実施例

[0020] 本発明のこれら及び他の有利な側面が、以下の図を参照してより詳細に説明される。]
[0021] 図面は、大きさ通りに描かれていない。一般に、同一の要素は、図面において同じ参照番号により表される。]
[0022] 穴充填の概念に対処する複数の用途が、画像処理の世界において知られる。２つの斯かる用途が既に上述されている。即ち、画像＋深さビデオ形式において与えられるビデオ情報に基づく表示レンダリングに関して画像において露わにされた領域を充填すること、及びビデオ圧縮方式でのシフト運動予測における情報の予測である。更なる代替的な用途領域は、例えば画像回復（restoration）である。]
[0023] 異なる態様で穴充填に対処する複数の手法が知られる。斯かる手法は、国際特許出願ＷＯ２００７／０９９４６５号に開示される。しかしながら、これらの技術には一般に、時間的に不安定なソリューションをもたらすという欠点がある。本発明の特定の実施形態、特に複数の伝播画素値のブレンディングに関する実施形態は、計算的に簡単であり、更に、時間的に安定した穴充填ソリューションを提供する。]
[0024] 図１は、本発明による穴充填方法を示す。この図は、未割り当ての画素値を持つ（隣接）ピクセル位置、即ち円形穴２０だけでなく、割り当て画素値を持つ（隣接）ピクセル位置を有する画像１０を示す。画像の上端から穴の上部端まで、及び穴の下部端から画像１０の下端まで延在する垂直方向の暗い棒３０を除けば、画像１０において、割り当てられた画素値の大多数はグレー色調を持つ。] 図１
[0025] 基本的なアイデアは、穴２０における未割り当てのピクセル位置に関する推定された画素値を生み出すため、穴２０のちょうど外側の画素値が用いられるということである。未割り当てのピクセル位置に関する真の画素値の評価が、伝播の方向に沿って穴２０のちょうど外側の画素値を伝播させることにより生成されることができる。]
[0026] 本発明によれば、第１の伝播画素値及び第１の伝播重みが、穴２０におけるピクセル位置への画素値の割り当てに使用するために決定される。このために、本発明は、ここでは穴２０に対して左から右に進む矢印９５により示される第１の方向に第１の伝播画素値を伝播させることを提案する。]
[0027] 実際の第１の伝播画素値は、様々な態様で生成されることができる。しかしながら、第１の伝播画素値は通常、未割り当てのピクセル位置（穴２０）に隣接する第１の領域において割り当てられた画素値に基づかれる。図１は、ピクセル位置（ｘｉ、ｙｉ）にあるピクセルｉに関する画素値の決定を示す。この特定のピクセル位置に対して、第１の領域は、割り当てられた画素値を持つピクセル位置（ｘｊ、ｙｊ）にあるピクセルｊを有する。ピクセル位置（ｘｊ、ｙｊ）は、穴２０に隣接して、第１の方向の反対側に配置される。穴２０における伝播方向に沿って第１の伝播画素値を伝播させるとき、（ｘｊ、ｙｊ）での画素値に基づかれる第１の伝播画素値が、穴２０に対して右に伝播されることになる。] 図１
[0028] 本発明は、第１の方向に沿って第１の伝播画素値を伝播させるのに使用される伝播重みの生成にも関する。伝播重みは、第１の方向に沿った穴境界線に隣接する第２の領域において割り当てられた画素値の、画素値における不連続性を説明するために使用される。ここに示される例では、第２の領域は、穴２０の境界の周りで割り当てられた全てのピクセル位置を実際に有する。この境界において見られる不連続性は、第１の方向に沿って割り当てられた画素値における不連続性の発生が、低い伝播重みを生じさせるという態様で、順に伝播重みに影響を与えるよう使用される。好ましくは、境界に沿って発生する不連続箇所が大きいほど、この不連続箇所を越える伝播重みは小さくなる。]
[0029] 例えば、ｙ座標ｙ＝ｙｊ、ｘ座標ｘ＞ｘｊを満たす未割り当てのピクセル位置（即ちピクセル位置（ｘｊ、ｙｊ）の右側のピクセル位置）を考慮する。本実施形態において、第１の伝播画素値は、伝播方向とは反対のサイドにあり、穴に隣接した画素値であるように選ばれる。ピクセルｉに対して、これは、ピクセルｊの画素値である。ピクセルｊの右側では直接穴の境界に沿った不連続性はないので、ピクセルｊの右側のピクセル位置が第１の伝播画素値と同じ画素値を持つという高い信頼性が存在する。これは言い換えると、伝播重みが１である（又は１に近い）ということである。実際、伝播重みの値は、ｙ＝ｙｊ及びｙｉである後続のすべての未割り当てのピクセルに対して、１にセットされる。ｘ座標ｘ＝ｘｌでのピクセル位置に対して、即ちピクセル位置（ｘｌ、ｙｌ）での下のピクセルｌに対して、割り当てられた画素値における強い不連続性が、穴２０の上端境界及び下端境界の両方で見られることができる。これらの強い不連続性が原因で、第１の伝播画素値がｘ＞ｘｌに対して伝播されるべき信頼性レベルは低い。それゆえに、第１の方向に更に沿ったピクセルに対する伝播重みは、実質的に下げられるべきである。結果として、ｘ＜ｘｌであるピクセル位置に対する、即ち破線３５の左側のピクセル位置に対する伝播重みは、ｘ≧ｘｌであるピクセル位置に対する、即ち列ｘｌの右側のピクセル位置に対する伝播重みより大きい。]
[0030] これは、伝播重み処理を生成することに関する定性的な指示を効果的に提供する。より精巧な定量分析が以下に与えられることになる。上記手法が実質的な態様で精練されることができる点に留意されたい。上述の第１の伝播画素値及び第１の伝播重みは、他の穴充填技術を用いて更に補充されることができる。例えば、ある実施形態において、穴における未割り当てのピクセル位置に割り当てられる画素値は、穴境界上の全ての割り当てピクセル位置の、第１の伝播画素値、第１の伝播重み及び平均画素値に基づかれる。代替的に、穴充填方法は、好ましくは第１の方向に垂直な第２の方向に沿って、第２の伝播重みを用いる第２の伝播画素値の伝播にも関し、３つの推定全てに基づき、穴におけるピクセル位置に関する画素値を決定する。]
[0031] 図２Ａ〜２Ｆは、５０％の輝度値を持つ割り当てピクセル位置２１０と０％の輝度値を持つ割り当てピクセル位置２２０とを有する図２Ａに与えられる輝度画像の左から右への伝播及び右から左への伝播の両方を含む、本発明による方法を説明するのに使用されることになる。破線の輪郭２３０は、未割り当ての画素値を持つピクセル位置を含み、およそ円形である。示される画像は輝度画像であるが、同じ手法が、例えばＲＧＢ画像、深さ画像、不均衡画像又は他のピクセルベースの画像といった他の画像にも適用可能である。] 図２Ａ 図２Ｂ 図２Ｃ 図２Ｄ 図２Ｅ 図２Ｆ
[0032] 図２Ｂは、矢印２３５により示される第１の方向に沿って、即ち左から右へ第１の伝播画素値を伝播させることに関する、第１の伝播画素値の生成を示す。この特定の実施形態では、左から右への伝播に関する第１の伝播画素値が、破線の輪郭２３０内に含まれる未割り当てのピクセル位置に直接隣接する割り当て済みピクセル位置として選択される。ここでは、左から右方向への伝播であるため、伝播画素値は穴の左側にある。第１の伝播画素値は、例えばピクセル位置２１１に対して、斜めにハッチングされたパターンを用いて強調される。] 図２Ｂ
[0033] 図２Ｃは、矢印２９０により示される第２の方向に沿って、即ち右から左へ第１の伝播画素値を伝播させることに関する、第２の伝播画素値の生成を示す。この特定の実施形態では、右から左への伝播に関する第２の伝播画素値が、破線の輪郭２３０内に含まれる未割り当てのピクセル位置に直接隣接する割り当て済みピクセル位置として選択される。ここでは、右から左方向への伝播であるため、伝播画素値は穴の右側にある。第１の伝播画素値は、例えばピクセル位置２１１に対して、水平にハッチングされたパターンを用いて強調される。] 図２Ｃ
[0034] 図２Ｄは、穴に含まれるピクセル位置に関する第１の伝播重みの生成を示す。ピクセルの単一の列に沿った不連続性の測定は、例えば、画素値２１５を用いて示される各ピクセルの列に対して、穴の上端及び下端境界に沿って不連続性が存在するかどうかを確認することにより決定されることができる。この例では、総輝度範囲の１０％の閾値を超える不連続性が発生するとき、伝播重みが１から０へと変化される。ここでは白いピクセルが１の伝播重みを表し、黒いピクセル２４０が０の伝播重みを表す点に留意されたい。] 図２Ｄ
[0035] この例では、図２Ｄにおける鎖点入りの枠２２５により示される列に対する伝播重みは、鎖点入りの箱２１５により示される穴境界の上端及び下端エッジで見られる画素値における差を使用することにより生成される。] 図２Ｄ
[0036] 図２Ｅは、穴に含まれるピクセル位置に関する第２の伝播重みの生成を示す。第２の伝播重みの決定は、この決定が、異なる伝播方向、即ち矢印２９０により示される右から左方向への第２の方向に基づかれる点を除けば、図２Ｄの場合と実質的に類似する。] 図２Ｄ 図２Ｅ
[0037] 実際、特定の空間コンテキストから始まる伝播画素値は、この空間コンテキストの近傍における画素値を予測するためのより高い信頼性レベルを持つ。上記概念は、伝播重みが決定される特定の列の、伝播画素値の原点までの距離を考慮することにより、伝播重みの決定にかなり容易に組み込まれることができる。しかしながら、簡単化のため、これは、図２Ｄ及び２Ｅにおける第１及び第２の伝播重みに対しては行われていない。] 図２Ｄ
[0038] 続いて、破線の輪郭２３０に含まれるピクセル位置に画素値を割り当てるため、図２Ｄ及び図２Ｅにおける伝播重みが用いられる。このために、図２Ｂからの第１の伝播画素値は、図２Ｄからの第１の伝播重みを使用することにより第１の方向に沿って伝播される。更に、図２Ｃからの第２の伝播画素値は、第２の方向に沿って図２Ｅから第２の伝播重みを使用することにより伝播される。続いて、第１及び第２両方の伝播重みにより伝播された画素値が、新しい画素値を形成するために組み合わされる。] 図２Ｂ 図２Ｃ 図２Ｄ 図２Ｅ
[0039] この場合、ピクセル位置（ｘｐ、ｙｐ）での位置ｐに割り当てられる画素値

は、第１の伝播重み

で重み付けされる第１の伝播画素値

と、第２の伝播重み

で重み付けされる第２の伝播画素値

とに基づかれる。更に、穴

に隣接する割り当て済みピクセルの平均画素値が、未割り当てのままである領域を充填するために用いられる。従って、

は、

として規定される。ここで、

及び

である。]
[0040] 図２Ｆは、上記式に基づき充填された穴を示す。穴の大部分が左から右又は右から左への伝播のいずれかから第１の伝播値を用いて充填される点に留意されたい。しかしながら、中心における特定の画素値は、伝播重みの特定の生成が原因で、第１の伝播値を割り当てられない。これらのピクセル位置は、不連続箇所の近くのより暗いピクセルが原因で０％の輝度の方へわずかに偏る、穴に隣接する割り当て済みピクセルの平均画素値を割り当てられる。より洗練された伝播重み割当てを使用することにより、上記の処理が更に精練されることができることは、明白であろう。] 図２Ｆ
[0041] 式（１）から分かるように、

を決定する際、様々な推定値を混合することが可能である。例えば、代替的な実現では、左から右及び／又は右から左へのピクセル伝播が、上から下及び／又は下から上へのピクセル伝播と組み合わされる。この実現は、ブレンディング処理において穴境界の周りに割り当てられた値の平均画素値を組み込むことにより、順に補充されることができる。例えばより洗練された伝播重み割当てを使うといった、更なる精練も想定される。]
[0042] マルチ表示生成において露わにされた領域を充填するとき、ここでは、どのように領域が露わにされるかが知られる場合、即ち、対象物がバックグラウンドに対してどのように変位されるかが知られるとき、実際、２つの対向するピクセル伝播とこの対向する２つに垂直な方向における１つのピクセル伝播とに基づき、穴充填に関する画素値を決定すれば十分であることが多い。]
[0043] 図３Ａ及び３Ｂは、それぞれ、伝播画素値及び伝播重みを生成することに関する可能な改善を示す。図３Ａは、伝播画素値の決定に使用する方向フィルタの適用を示す。] 図３Ａ
[0044] この特定の実現において、図２Ｂを参照して上述される第１の伝播画素値に関する生成に対応する方向フィルタを用いて、伝播画素値が生成される。ここでは、方向フィルタは、左から右へのものである。図３Ｂにおける方向フィルタは、全て同じ線上にある５ピクセルのフットプリントを持つ。しかしながら、本発明は、この特定のフットプリント・サイズに限定されるものではない。図３Ｂは、例えば画像境界の近傍において又は別の穴の近くで、不十分な数の割り当て済み画素値が利用可能であるとき、より小さなフットプリントが使用されることができることを示す。結果として生じる値が適切な伝播画素値を提供するよう正規化される点に留意されたい。] 図２Ｂ 図３Ｂ
[0045] 伝播方向に整列するフットプリントを用いることで、伝播方向と揃ったエッジが穴において伝播される。更に、この方向フィルタを適用することにより、穴境界の近くの空間ノイズが効果的に抑制される。満足できる方向フィルタは、様々なタイプとすることができる。例えば、低域フィルタ、及び／又は階段状といった特定の画像特性に適合可能なフィルタでもよい。]
[0046] 図３Ｂは、穴境界に沿った不連続性が、方向フィルタを用いて説明されることができることも示す。ここでは、隣接する割り当て済みピクセルの間の差が、決定され、続いて、伝播方向と角度をなす方向に沿ってフィルタリングされる。この方向は、図３Ｂに示される例では、垂直方向である。伝播方向に対して角度をなしてフットプリントを持つ方向フィルタを使用することにより、伝播重みに影響を与えるため、伝播方向に対して同じ角度を持つ画像における特徴のサイズが使用されることができる。] 図３Ｂ
[0047] 方向フィルタが伝播の水平方向に対して垂直であるという、ここで示される例では、重みを生成するとき、不連続性の長さが考慮される。結果として、多数のピクセルにわたり延在する不連続性は、より短い不連続性よりも大きい程度まで伝播重みを低下させることになる。この背景にある理論は、例えば、リンテル（lintel）又はウィンドウ・フレームの水平部分といった画像における水平エッジが、ウィンドウの穴重複部分において伝播される必要がある場合があるということである。しかしながら、この伝播は、ウィンドウ・フレームの垂直ポストに対応することができる強い垂直エッジが存在する点で終わるべきである。]
[0048] ブレンディング比率
伝播された画素値を結合する処理が、図２Ａ〜２Ｆを参照して述べられてきた。伝播された画素値は、例えば重み付け付加（weighted addition）といった様々な態様で組み合わされることができるが、この例におけるピクセルはブレンディングにより組み合わされる。「アルファ・ブレンディング」は、透明度効果を許容するよう２つ又はこれ以上の色が平均化されるコンピュータ・グラフィックにおける既知の技術である。発明者らは、色の重み付け平均が、穴充填問題における時間的不安定性も解決することができることを理解した。] 図２Ａ 図２Ｂ 図２Ｃ 図２Ｄ 図２Ｅ 図２Ｆ
[0049] 例えば、ピクセル位置（ｘｉ、ｙｉ）にあるピクセルｉの真の、だが未知の色ｃｉに対する２つの異なる推定

及び

が存在する場合を考える。これらの異なる推定は、例えば、ピクセル（ｘｉ、ｙｉ）の空間的及び／又は時間的近傍における他のピクセルに関して見つかる色である。多くの従来技術の穴充填手法は、穴を充填するため２つの推定の１つを選択することになる。実際の選択は通常、画像依存の測定基準に基づき行われる。]
[0050] しかしながら、問題は、測定基準においてではなく選択処理に存在する。信頼性レベル又は重みが、それぞれ異なる推定

及び

に関連付けられる状況を考える。これらの信頼性は、時間にわたり変化することができ、画像シーケンスにおける各画像に対して異なることができる。結果として、

が１つのフレームに関して成り立ち、一方

が次のフレームに関して成り立つ場合がある。]
[0051] カラー推定

が「淡い青」に対応し、カラー推定

が「濃い青」に対応する場合、結果は、これらの２つの色の間の迷惑な時間的ちらつきであることになるが、真の色は、実際には「淡い青」又は「濃い青」のどちらでもよい。発明者らは、両方の画像に関する真の色に関係なく、「淡い青」及び「濃い青」の重み付き平均を表示することがより良好であり、これにより、画像の間の迷惑な時間的ちらつきが回避されることを理解した。従って、発明者らは、カラー推定のブレンディング、及び２つ又はこれ以上の推定の重み付き平均を計算することを提案する。]
[0052] 推定の確立及び結合
ブレンディングは、隠れたテクスチャ層を計算する時間的不安定性の問題を解決するのに役立つ。しかしながら、推定をブレンドするため、推定及び対応する信頼性が生成されなければならない。上述される実施形態においては、本発明の動作を説明するため、比較的簡単な例が使用された。]
[0053] ３つの空間推定を用いるより洗練された実施形態が、以下説明されることになる。しかしながら、この実施形態は、４つ又は更にこれ以上の空間推定を組み込むことにまで容易に拡張されることができる。]
[0054] 図１を参照して記載される、ピクセル位置（ｘｉ、ｙｉ）にあるピクセルｉを考える。ここで、

により表される第１の推定は、画像にわたり左から右への伝播画素値の伝播の結果であり、第２の推定

は、画像にわたり右から左への伝播画素値の伝播の結果である。最終的に、第３の推定

は、画像にわたり上から下への画素値の伝播から生じる。可能な第４の推定

は、下から上へと計算されることができる。原理上は、より多くの、可能であれば時間的な推定が、これらの空間的推定とブレンディングされることができる。] 図１
[0055] 異なる推定が、ブレンディングを使用することにより組み合わされる。３つの推定という場合は、式（２）は、穴における未割り当てのピクセルｉに割り当てられることになる画素値のブレンディング及び決定を表す。ここで、

が成り立つ。]
[0056] ３つの推定の全ては、同様に計算される。各推定に関して異なる伝播方向が使用されるという点で、それらは異なる。基本的なアイデアは、穴のちょうど外側の画素値が、異なる伝播方向を用いてこの穴にまで拡張され、この後、式（２）において重み付き平均が計算されるということである。]
[0057] 本実施形態において、第１の伝播画素値は、図１に示されるピクセル位置（ｘｊ、ｙｊ）でのピクセルｊを含む左から右方向への伝播において穴の外側に割り当てられた画素値に適用される移動平均フィルタに基づかれる。ピクセルｉへの割当てに関する画素値を決定するための第１の伝播画素値

は、ピクセルｊに関する移動平均フィルタを使用することにより、従って

により、生成される。ここで、

は、

として規定される。ここで、ｃ（ｘｊ、ｙｊ）は、ピクセル位置（ｘｊ、ｙｊ）での画素値に対応し、パラメータγは、画像にわたり左から右へのスキャンの間、次のピクセルが移動平均において重み付けされる量を制御する。フィルタリングは、ノイズの場合及び無指向性（例えばランダムに方向付けされる）テクスチャの場合に効果的でありえる。γに対する典型的な値は、０．５である。しかしながら、より小さな又はより大きな値が、許容可能な結果を生み出す場合もある。] 図１
[0058] 続いて、ピクセル

に関する第１の伝播値と共に用いられる伝播重み

が確立される。本実施形態において、

は、穴エッジからの距離に依存する。ここでは、この距離は、以下に説明される「一体化されたエッジ抵抗」だけでなく、左から右方向への伝播における、ピクセル位置（ｘｊ、ｙｊ）でのピクセルｊからピクセル位置（ｘｉ、ｙｉ）でのピクセルｉへの距離である。本実施形態におけるピクセルｉに関する第１の伝播重みは、

として規定される。]
[0059] 見て分かるように、重みは、穴への距離の増加と共に指数的に減少する。この態様で、上述の推定は、より長い距離に沿って伝播される推定における信頼性の低下を説明する。パラメータλは、距離の関数として、減少率を制御する。λに関する典型的な値は、１０．０である。しかしながら、より小さな又はより大きな値が使用されることもできる。上述の距離依存性を考慮しない場合であっても許容可能な結果が得られることができる点に留意されたい。]
[0060] ここで、

は、左から右方向への伝播に関する「一体化されたエッジ抵抗」と呼ばれる。見て分かるように、一体化されたエッジ抵抗が高いと、この特定の伝播方向の推定に関する低い重みが生み出される。]
[0061] 一体化されたエッジ抵抗は、穴境界に沿った伝播方向に対して角度をなす他の方向におけるエッジの発生の信頼性を説明するために導入される。図１を参照して前述されるように、棒３０は、破線３５に沿って穴２０を通り延在する可能性が高い。結果として、破線３５の左側の伝播重みは、破線３５の右側の伝播重みより高いべきである。なぜなら、左側からの伝播候補が、エッジ３５を過ぎて伝播されるべきかどうかが明らかでないという事実があるためである。ここに、こうして上から下方向で計算される垂直エッジ強度は、推定の伝播重み、即ち左から右への画素値伝播に用いられる伝播画素値に影響を与える。] 図１
[0062] パラメータαは、一体化されたエッジ抵抗の重要性を決定する。αに対する典型的な値は、０．０１である。しかしながら、より小さな又はより大きな値が、許容可能な結果を生み出す場合もある。ピクセルｉに対するエッジ抵抗は、

として計算される。]
[0063] 式（５）において、Ｅ（ＴＤ）は、画像において割り当てられたピクセルに対して上から下への態様で計算される垂直エッジ強度である。穴の境界のちょうど外側で、穴に垂直に測定される水平画素値の差を外挿することにより、垂直エッジ強度が計算される。こうしてエッジ情報が穴内部に伝播される。式（５）の加算部の中でＥ（ＴＤ）及び／又はＥ（ＤＴ）だけを使用する代わりに、この加算は、他の非水平方向に対しても行われることができる。こうして、より高い角度分解能が得られる。]
[0064] 未割り当てのピクセルに関する垂直エッジ強度は、好ましくは、伝播方向に垂直な方向に沿って穴境界の外側で割り当てられたピクセルに関して評価される移動平均計算に基づかれる。ピクセルｉの場合、垂直エッジ強度Ｅ（ＴＤ）（ｘｉ、ｙ）は、

として規定される。ここで、

は、

として規定され、

は、図１に示されるようにピクセルｉの上に直接配置されるピクセル位置（ｘｋ、ｙｋ）にあるピクセルｋに基づかれる。βは、重み付けされるテクスチャのスケールを制御するために用いられる。βに対する小さな値は、長い直線エッジのみを重み付けするが、βに対する大きい値は、小さな直線エッジにもいくらかの重みを与える。βに対する典型的な値は、０．５である。しかしながら、より小さな又はより大きな値が、許容可能な結果を生み出す場合もある。] 図１
[0065] 上述される手法は、第１の伝播値及び第１の伝播重みを決定する好ましい態様であるが、変形例も想定される。]
[0066] より複雑な穴形状の扱い
図４は、本発明を用いてより複雑な穴がどのように処理されることができるかを示す。この場合、矢印２３５により示されるように、ピクセルは左から右に伝播される。より複雑な穴形状を扱うため、この穴は、隣接する未割り当てピクセルを有する２つのセグメントにセグメント化（segmented：分割）されることができる。ある実現において、このセグメント化は、伝播方向に沿ったスキャンを含む。割り当てられたピクセルから未割り当てのピクセルへの移行がこのスキャンにおいて発生するときはいつでも、未割り当てのピクセルは、初期の、未割り当てのピクセルとは異なるセグメントに属するとみなされる。続いて、このスキャンに基づき伝播方向に沿ってセグメントが形成されることができ、個別のセグメントは、分離状態でアドレス付けされることができる。２つのセグメントが、図４における画像に示される。１つは、実線の輪郭４０５に含まれる隣接する未割り当てのピクセル位置であり、もう１つは、鎖点入りの輪郭４１０に含まれる隣接する未割り当てのピクセル位置である。両方のセグメントに対して、第１の伝播画素値が、斜めのハッチングを用いて示される。] 図４
[0067] 代替的な方向
本発明は主に水平及び／又は垂直ピクセル伝播に関して説明されてきたが、これに限定されるものではない。技術的に、画素値は、対角線又は任意の角度方向に沿って等しい効果を伴い伝播されることができる。しかしながら、通常のビデオ映画フィルムにおいて、水平及び垂直エッジの数は、支配的であるように見え、水平及び垂直ピクセル伝播が、結果として好まれる。しかしながら、例えば多くのエッジが１つの同じ角度に存在するような特定の状況において、別の伝播方向を使用することが有利な場合がある。]
[0068] エッジ抵抗解析は、伝播方向に垂直な方向における第２の領域において割り当てられた画素値の評価を含む処理として上述された。しかしながら、本発明は、これに限定されるものではなく、エッジ抵抗は、画像コンテンツの特性に基づき、伝播方向に対する他の角度に沿った等しい利点に対して確立されることができる。]
[0069] 例えば、図５は、穴５１０を充填するための画素値に関する推定が、水平ピクセル伝播を用いて生成される状況を示す。しかし、この中で、破線５２０の方向に沿った不連続性のため、第２の領域において割り当てられた画素値を評価するよう、伝播重み生成が構成される。結果として、破線の左側の伝播重みが、右側の伝播重みより大きくなることになる。] 図５
[0070] 露見（de-occlusion）データの生成
上述したが、露見データの生成は、本発明の用途に関する可能性領域を表す。本発明は、（自動）立体表示システムに関するレンダリング表示において既存の画像＋深さ情報を補うことができる閉塞データを生成するのに用いられることができる。]
[0071] 図６Ａは、バックグラウンドにおけるカラーである２つの長方形６０２の前に配置される実線の円６０１を有するシーンの画像を示す。図６Ａにおける画像は、右目表示を反映する。図６Ｂは、視点における差を説明するため、青い円６０１が右目表示におけるその位置に対して水平に変位される左目表示を表す。この処理において、カラーの長方形６０２の一部は、露わにされる。しかし、黒いピクセルとして示される穴６０５はそのままである。] 図６Ａ 図６Ｂ
[0072] 本発明は、穴６０５を充填するための露見データを提供するために用いられることができる。図６Ｃは、本発明による、左から右、右から左、上から下、及び下から上への伝播の結果を示す。明確化のため、穴６０５の外側のピクセルは、黒いピクセルとして表される点に留意されたい。図６Ｃにおける画像は、以下のパラメータ値を用いて計算された。そのパラメータ値とは、α＝０．０１、β＝０．５、γ＝０．５、及びλ＝０である。λ＝０であることは、この例において、重みが伝播された距離に依存しないことを意味する点に留意されたい。] 図６Ｃ
[0073] 図６Ｃにおいて、長方形が、予想されるように輪郭６０５に適切に伝播されることが分かる。伝播された画素値のブレンディングは、２つの長方形の間の交差で発生する。最終的な結果は、輪郭６０５により示される穴が充填される図６Ｄに与えられる。] 図６Ｃ 図６Ｄ
[0074] 上記は、従来のＲＧＢ画像において穴を充填するために本発明がどのように用いられることができるかを示すが、本発明は、深さマップ又は他の画像における充填に関しても等しい利点を伴い適用されることもできる。]
[0075] 画像処理デバイス
図７Ａは、未割り当ての画素値を持つ画像７０５を得るよう構成される取得手段７１０を有する画像処理デバイス７００のブロック図である。画像７０５は、単一の画像又は画像シーケンスからの画像とすることができる。取得手段は、画像又は画像シーケンス受信ユニットとして構成されることができる。受信される画像は続いて、第１の伝播画素値７３０と、隣接するピクセル位置の方へ第１の方向に沿って上記第１の伝播画素値７３０を伝播するための第１の伝播重み７３５とを生成する第１の生成手段７１０に提供され、この生成は、上記第１の方向における隣接するピクセル位置に対する伝播のための上記第１の伝播画素値７３０を生成するステップであって、上記第１の伝播画素値７３０が、未割り当てのピクセル位置に隣接する第１の領域において割り当てられた画素値に少なくとも基づかれる、ステップと、上記第１の方向に沿って上記穴に隣接する第２の領域において割り当てられた画素値の画素値における不連続性を説明するため、上記第１の伝播画素値７３０に関する第１の伝播重み７３５を生成するステップであって、第１の方向に沿った上記割り当て済み画素値における不連続性の発生が、低い伝播重み７３５を生じさせるような、ステップとを有する。画像処理デバイス７００は、少なくとも部分的に第１の伝播画素値７３０と第１の伝播重み７３５とに基づき、（穴を形成する）隣接ピクセル位置に画素値を割り当てる割り当て手段７４０を更に具備する。割り当て手段の出力は、順に、画像７０５における少なくとも１つの穴が充填された画像７４５となる。] 図７Ａ
[0076] 図７Ｂは、生成手段の４つのインスタンスを有する画像処理デバイス７９０のブロック図である。第１の生成手段７２５（ＬＲ）は、左右方向に沿った伝播のため第１の伝播画素値及び第１の伝播重みを生成し、第２の生成手段７２５（ＲＬ）は、右左方向に沿った伝播のため第２の伝播画素値及び第２の伝播重みを生成し、第３の生成手段７２５（ＵＤ）は、上下方向に沿った伝播のため第３の伝播画素値及び第３の伝播重みを生成し、第４の生成手段７２５（ＤＵ）は、下上方向に沿った伝播のため第４の伝播画素値及び第４の伝播重みを生成する。未割り当てのピクセルを持つ画像に対して伝播画素値及び伝播重みを提供するため、代替的に、単一の生成手段が時間マルチプレクス化された態様で使用されることができる点に留意されたい。] 図７Ｂ
[0077] 図８は、本発明による画像処理デバイス７９０とディスプレイ８１０とを有するディスプレイ・デバイス８００のブロック図である。ディスプレイ・デバイス８００は、例えばＬＣＤディスプレイ・デバイス、プラズマ・ディスプレイ・デバイス、又は好ましくは立体表示ディスプレイ・デバイス及びより好ましくは自動立体表示ディスプレイ・デバイスといった他のディスプレイ・デバイスとすることができる。] 図８
[0078] 本発明による画像処理デバイス及び／又はディスプレイは、例えば１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）を用いて、主にハードウェアであるデバイスにおいて効果的に実現されることができる。代替的に、本発明は、パーソナル・コンピュータ又は充分な計算能力を持つデジタル信号プロセッサの形で、プログラム可能なハードウェア・プラットフォーム上で実現されることができる。ハードウェア／ソフトウェアの分担については多くの異なる変形が、請求項の範囲内で可能であることは、当業者に明らかであろう。]
[0079] 本発明によるコンピュータプログラムは、集積回路又は計算マシンといったデバイスに組み込まれることができる。例えば、組み込みソフトウェアとして、又は標準的なストレージ又はメモリデバイスのいずれかからプレロードされ続ける、若しくはロードされる形で組み込まれる。コンピュータプログラムは、例えばソリッドステートメモリ又はハードディスク又はＣＤといった標準的な内蔵又は着脱可能なストレージにおいて処理されることができる。コンピュータプログラムは、機械レベルコード又はアセンブリ言語又は高度言語といった既知のコードの任意の１つにおいて与えられることができ、例えばハンドヘルドデバイス又はパーソナルコンピュータ又はサーバといった利用可能なプラットフォームのいずれかで作動するよう作られることができる。]
[0080] 上述された実施形態は本発明を限定するものではなく説明するものであり、当業者であれば、添付された請求項の範囲から逸脱することなく、多くの代替的な実施形態をデザインすることができることになる点に留意されたい。]
[0081] 請求項において、括弧内に配置されるいかなる参照符号も請求項を限定するものとして解釈されるべきではない。]
[0082] 本発明のフレームワーク内で多くの変形例が可能であることは、明白であろう。本発明が本書に特に図示及び説明されてきたものにより限定されないことを、当業者であれば理解されたい。本発明は、どの新規な特徴にも存在し、これらの特徴のどの組合せにおいても存在する。請求項における参照数字は、保護範囲を限定するものではない。]
[0083] 動詞「有する」及びその共役の使用は、請求項において述べられる要素又はステップ以外の要素又はステップの存在を排除するものではない。ある要素に先行する「ａ」又は「ａｎ」という語は、斯かる要素が複数存在することを除外するものではない。]

权利要求:

請求項1
未割り当ての画素値を持つ画像における隣接するピクセル位置に画素値を割り当てる方法において、第１の伝播画素値と、前記隣接するピクセル位置の方へ第１の方向に沿って前記第１の伝播画素値を伝播するための第１の伝播重みとを生成するステップであって、該ステップが、前記第１の方向において前記隣接するピクセル位置への伝播のため前記第１の伝播画素値を生成するサブステップであって、前記第１の伝播画素値が、前記未割り当てのピクセル位置に隣接する第１の領域において割り当てられた画素値に少なくとも基づかれる、サブステップと、前記第１の方向に沿って穴に隣接する第２の領域において割り当てられた画素値の画素値における不連続性を説明するため前記第１の伝播画素値に対する第１の伝播重みを生成する、サブステップであって、前記第１の方向に沿って前記割り当てられた画素値における不連続性の発生が、低い第１の伝播重みを生じさせるようなサブステップとにより行われる、ステップと、前記第１の伝播画素値と第１の伝播重みとに少なくとも部分的に基づき、前記隣接するピクセル位置に画素値を割り当てるステップとを有する、方法。
請求項2
前記第１の伝播画素値が、前記未割り当てのピクセル位置に隣接する前記第１の領域において割り当てられた画素値を備えるピクセル位置を有する、割り当てられた画素値に対する第１の方向フィルタを用いて生成される、請求項１に記載の方法。
請求項3
前記第１の伝播重みが、前記第１の方向に沿って前記第２の領域において割り当てられた画素値に関してエッジ検出器を使用することにより生成される、請求項１又は２に記載の方法。
請求項4
第２の伝播画素値と、前記隣接するピクセル位置の方へ第２の方向に沿って前記第２の伝播画素値を伝播するための第２の伝播重みとを生成するステップを更に有し、前記隣接するピクセル位置に割り当てられる前記画素値が、前記第１及び第２の伝播画素値と前記第１及び第２の伝播重みとに少なくとも部分的に基づかれる、請求項１乃至３のいずれか一項に記載の方法。
請求項5
前記第２の伝播画素値及び第２の伝播重みを生成するステップが、前記第２の方向において前記隣接するピクセル位置への伝播のため前記第２の伝播画素値を生成するステップであって、前記第２の伝播画素値が、前記未割り当てのピクセル位置に隣接する第３の領域において割り当てられた画素値に少なくとも基づかれる、ステップと、前記第１の方向に沿って前記穴に隣接する第４の領域において割り当てられた画素値の画素値における不連続性を説明するため前記第２の伝播画素値に対する第２の伝播重みを生成する、ステップであって、前記第２の方向に沿って前記割り当てられた画素値における不連続性の発生が、低い第２の伝播重みを生じさせるような、ステップとを有する、請求項４に記載の方法。
請求項6
前記隣接するピクセル位置に画素値を割り当てるステップが、前記第１の伝播重みで重み付けされる前記第１の伝播画素値と、前記第２の伝播重みで重み付けされる前記第２の伝播画素値とをブレンドするステップを有する、請求項４又は５に記載の方法。
請求項7
前記第１及び前記第２の方向が、垂直な方向である、請求項４、５又は６のいずれか一項に記載の方法。
請求項8
未割り当ての画素値を持つ画像における隣接するピクセル位置に画素値を割り当てる画像処理デバイスであって、第１の伝播画素値と、前記隣接するピクセル位置の方へ第１の方向に沿って前記第１の伝播画素値を伝播するための第１の伝播重みとを生成する第１の生成手段であって、該生成手段が、前記第１の方向において前記隣接するピクセル位置への伝播のため前記第１の伝播画素値を生成するステップであって、前記第１の伝播画素値が、前記未割り当てのピクセル位置に隣接する第１の領域において割り当てられた画素値に少なくとも基づかれる、ステップと、前記第１の方向に沿って穴に隣接する第２の領域において割り当てられた画素値の画素値における不連続性を説明するため前記第１の伝播画素値に対する第１の伝播重みを生成する、ステップであって、前記第１の方向に沿って前記割り当てられた画素値における不連続性の発生が、低い第１の伝播重みを生じさせるようなステップとにより生成を行う、第１の生成手段と、前記第１の伝播画素値と第１の伝播重みとに少なくとも部分的に基づき、前記隣接するピクセル位置に画素値を割り当てる割り当て手段とを有する、画像処理デバイス。
請求項9
第２の伝播画素値と、前記隣接するピクセル位置の方へ第２の方向に沿って前記第２の伝播画素値を伝播するための第２の伝播重みとを生成する第２の生成手段を更に有し、前記割り当て手段が、前記第１及び第２の伝播画素値と前記第１及び第２の伝播重みとに少なくとも部分的に基づき、前記隣接するピクセル位置に前記画素値を割り当てるよう構成される、請求項８に記載の画像処理デバイス。
請求項10
前記第２の生成手段が、前記第２の方向において前記隣接するピクセル位置への伝播のため前記第２の伝播画素値を生成するステップであって、前記第２の伝播画素値が、前記未割り当てのピクセル位置に隣接する第３の領域において割り当てられた画素値に少なくとも基づかれる、ステップと、前記第１の方向に沿って前記穴に隣接する第４の領域において割り当てられた画素値の画素値における不連続性を説明するため前記第２の伝播画素値に対する第２の伝播重みを生成する、ステップであって、前記第２の方向に沿って前記割り当てられた画素値における不連続性の発生が、低い第２の伝播重みを生じさせるような、ステップとにより、前記第２の伝播画素値及び第２の伝播重みを生成するよう構成される、請求項９に記載の画像処理デバイス。
請求項11
請求項８乃至１０のいずれか一項に記載の画像処理デバイスを有するディスプレイ・デバイス。
請求項12
コンピュータで実行されるとき、請求項１乃至７のいずれか一項に記載の方法が実行されることをもたらすコンピュータプログラム。
請求項13
コンピュータで実行されるとき、請求項１乃至７のいずれか一項に記載の方法が実行されることをもたらすコンピュータプログラムが格納されるコンピュータ可読媒体。